Groq LPU™
https://wow.groq.com/groq-lpu-inference-engine-crushes-first-public-llm-benchmark/Groq LPU™ Inference Engine Crushes First Public LLM Benchmark
https://scrapbox.io/files/65c600300a008c0025211552.webp
https://github.com/ray-project/llmperf-leaderboard?mkt_tok=NjQxLUtFQy05NzQAAAGQkOlj8gyO11NhfsODhR_L9mhWRY6kLH3WkXN7UJKyZ1YJvwWhHEyxDzURIu_XKy1TIZr5BnuohZCxsZ_qu3gebUraVYe20AEbAoqd520LLMPerf Leaderboard
Groq LPU™推論エンジン上で動作するMeta AIのLlama-2-70bは 、 出力トークンのスループットにおいて 、他の全ての クラウドベースの推論プロバイダーよりも 最大18倍高速 でした。
https://vengineer.hatenablog.com/entry/2023/10/29/080000Groqの新しいチップと新しいシステム - Vengineerの戯言
https://vengineer.hatenablog.com/entry/2023/08/22/000000Groq の Language Processing Unitって、なんだ？ - Vengineerの戯言
https://vengineer.hatenablog.com/entry/2024/02/21/173000Groq で LIama 2 70B を推論システムとして使った時の規模とお値段を妄想する - Vengineerの戯言
現行のシステム では、10Rack で $2M
2nd Gen System では、5Rack で $1M
3rd Gen Systems では、1/2Rack で $500K と妄想しました。
まったく関係がない
Grok